Der kluge Hans

Tauben in der Tumorerkennung

10 Tauben so gut wie ein Pathologe: youtube

KI (AI), Machine Learning, Deep Learning

Deep Learning ist der Treiber der jetzigen KI Welle (von 2012) an.

Anwendungen der (schachen) KI

Neuronale Netze

Alle NN bestehen aus Neuronen…

…Mache haben aber mehr Neuronen als andere.

Beispiel: ChatGPT

• Architektur: “Language Model”

  • Input: X Sequenz (bis zu 8000 Wörter¹)

  • Output: Y Nächstes Wort (W’keiten)

• Typisches Netz 2020 GPT-3 175’000’000’000 Parameter (Neuronen)

Beispiel: Alexnet

• Architektur: Bild Klassifikation

  • Input X Bild z.B. 1024x1024 Pixel

  • Output Y Klasse Label (eines von 1000)

• Typisches Netz 2012 Alex Net 60’000’000 Parameter

Beispiel: Fully Connected NN

• Architektur: “fully connected neural network”

  • Input X 3 Zahlen Wetter heute (1,0,0)

  • Output 3 Zahlen Wetter morgen (Wahrscheinlichkeiten)

• Typisches Netz Fully Connected NN

Beispiel: GaussNet (Lineare Regression)

• Architektur Lineare Regresion

  • Input X Zahl (X=alter)

  • Output Y Zahl (Y=Blutdruck)

• Typisches Lineare Regression Gauss (unpublished ~ 1795), Legendre (1805)

Training von NN (Beispiel Bildklassifikation)

NN 1: Vorhersage des Blutdrucks

Trainingsdaten: Blutdruck von 33 Nordamerikanischen Frauen (ersten 10)

    x   y
1  22 131
2  41 139
3  52 128
4  23 128
5  41 171
6  54 105
7  24 116
8  46 137
9  56 145
10 27 106

dat = transpose(datt)

Aufgabe: Blutdruck für eine 75 jährige Frau (gegeben den Trainingsdaten)?

Data

function lr(pw){
 return(
  Plot.plot({
  marks: [
    Plot.dot(dat, {x: "x", y: "y"}),
    Plot.line(curve(dat), {x: "x", y: "y"})
  ],
  y: {
    label: "Blutdruck",
    domain: [80,200]
  },
  x: {
    label: "Alter",
    domain: [15,80]
  },
  width: pw,
  height: pw/1.5,
  color: "steelblue"
})
)
} 

function curve(template){
  const ages = template.map(d => d.x);
  const [minAge, maxAge] = d3.extent(ages);
  const xvals = d3.range(minAge, maxAge, (maxAge - minAge) / 100); 
  let yhat = xvals.map(x => w*x + b);
  return xvals.map((x, i) => ({x, y: yhat[i]})); //Thanks ChatGPT
}

lr(800)

Idee?

Lineare Regression

lr(550)

viewof b = Inputs.range([-10, 120], {label: "Intercept", step: 0.1})
viewof w = Inputs.range([-5, 5], {label: "Slope", step: 0.1})
html`<br>y = ${w} &middot; x + ${b}<br>`

Lineare Regression as Neuronales Netz

//Redoing the plot
lr(350)

Inputs.bind(Inputs.range([-10, 120]), viewof b)

Inputs.bind(Inputs.range([-5, 5]), viewof w)

html`<br>y = ${w} &middot; x + ${b}<br>`

function color(value) {
  return  d3.scaleLinear().domain([-1, 0, 1]).range(['blue', 'gray', 'green'])(value);
}
function lw(value) {
  return d3.scaleLinear().domain([-1, 1]).range([0.1, 1])(value);
}

dot`${my_graph}`

my_graph = `digraph {
  node [fontsize=20, fontname=Arial];
  node [fixedsize=true, width=0.6, height=0.6];
  edge [arrowhead=vee, arrowsize=0.7];

  //b -> Y[penwidth=${10*lw(Math.abs(b))}, label=${b}]; //<-- Change the factor here
  b -> Y[penwidth=2, label=${b}];
  x1 -> Y[penwidth=2, label=${w}];
  
  x1 [label="x", pos="0,0"]; 
  b  [label="1", pos="0,2"]; 
  Y  [label="y", pos="1,0.8"]; 
  //x1 [label="x", pos="0,0"];
  //b  [label="1", pos="2,0"];
  //Y  [label="y", pos="1,1"];
}`

NN 2 Wetter in Konstanz

NN 2 Wetter in Konstanz

• Output ist Wahrscheinlichkeit

Training großer Netze

• Lineare regression hat 2 parameter (slider)

• Grosse Netze haben Mio/Mrd parameter

• Training Minimierung einer Verlustfunktion auf den Trainingsdaten

  • Frage: Wie gut sagt das Model die Daten vorher (Maximum Likelihood Prinzip)

  • Algorithmus Backpropagation (Rummelhard)

  • Training von großen Netzten große technoligische Herausforderung

ChatGTP

Principles of ChatGPT

• Transformer Architecture / self attention

  • Spezielle Art neuronen zu verbinden: Vaswani et al. (2017)

• “trained with maximum likelihood”

  • “Normales Training”

• Generative Language Model […] predict next token in a sequence of tokens

  • Sagt nächstes Wort vorraus

Generating Text (You)

Wahrscheinlichkeiten (des Sprachmodels) für das nächste Wort

• trinken (70%)

• bieremoji (15%)

• oder (10%)

• sonstige kummuliert (5%)

Generating Text (ChatGPT)

Beim Text wird das nächste Wort proportional zur Wahrscheinlichkeit ausgewürfelt.

Zufälliges Auswählen: Beispiel 1

Zufälliges Auswählen: Beispiel 2

Training von ChatGPT

1. Vorhersage des nächsten Worts

   • Muss keine Daten labeln

   • Trainingsdaten “Internet” (common crawl)

   • CO2 äquivalent 120 Auto für ein Jahr

2. Finetuning als Chatbot

Der Kaiser ist nackt

<<All the impressive achievements of deep learning amount to just curve fitting>>

Juda Pearl, 2018

Transparenz / Interpretation (Im nachhinein)

• Einfach Modelle, wie lineare Regression können interpretiert werden.

• Wichtigkeit von bestimmten Eingangsdaten für die Entscheidungen.¹

Transparenz / Interpretation (Im nachhinein)

• Komplexe Modelle oft in den Vorhersagen besser.

• Kombination von einfachen interpretierbaren mit komplexen Modellen¹

  • Beispiel Vorhersage von Hautkrebs

    • Bild Daten mit tiefen NN

    • Alter mit linearer Regression

Grundproblem Keine Kausalität

Statistische Natur von KI

Fazit

KI ist ein hilfreiches Werkzeug

• Code für Aniationen wurde mit ChatGPT entwickelt

• Viele Nüzliche Anwendungen Medizin, Stromvorhersage,…

Allerdings

• Auch wenn es schwerfällt zu glauben: kein inneres Verständniss¹
• Biased

  • Nur so gut wie Trainingsdaten

  • Schwer (bis unmöglich) bias rauszubekommen

• Transparent
  • Miximal im statistischen Sinne

Weitere Probleme

• Overconfidence

• Nicht robust

• Nicht kausal

Overconfident

Overconfident

Overconfident

Deep Learning für Tumor Erkennung

DL so gut wie PathologInnen …

Zusammenfassungen

Bias

lr(600)

• Daten bassieren auf 33 nordamerikanischen Frauen
• Nicht übertragbar auf Männer / Assiaten